Jaderné noviny 272

9. 9. 2004 | Robert Krátký | Jaderné noviny | 3699×

Nový patch pro 'volitelnou' preempci řeší stávající problémy s preemptivností. Omezení počtu současných hotplug procesů. Napojení klávesnic na Braillovy terminály. GPL zkoušena u německých soudů.

Do konference přišlo celkem 1660 emailů, nejvíce jich poslali Andrew Morton, Ingo Molnar a Lee Revell.

Nový patch pro 'volitelnou' preempci řeší stávající problémy s preemptivností, 267 e-mailů

9. črc - 29. črc

Ingo Molnar napsal:

Jak asi povětšinou víte, objevily se v této konferenci stížnosti, že se jádro 2.6 kvůli vysokým rozvrhovacím latencím nehodí pro opravdovou práci se zvukem (stěžovali si např. lidé z projektu Jack). Podíval jsem se na ty latence a v 2.6.7 jsou skutečně dost špatné - až 50 msec (!) latencí lze snadno dosáhnout při běžném zatížení na rychlých 2GHz+ x86 systémech - i při použití plně preemptivního jádra.

Abychom tento problém vyřešili, zjišťoval jsem spolu s Arjan van de Venem preemtibilitu nejrůznějších funkcí v jádře. Od začátku jsme pak znovuvytvořili patch, který se výkonem vyrovná lowlatency (nízká latence) patchům pro 2.4. Náš patch má však jiný design, dopad i přístup:

http://redhat.com/~mingo/voluntary-preempt/voluntary-pree mpt-2.6.7-bk20-H2

Narozdíl od lowlatency patchů nepřidává tento do zdrojáků spoustu rozvrhovacích bodů. Místo toho využívá bohatou, avšak v současné době neaktivní, sadu rozvrhovacích bodů, které už v jádře 2.6 jsou: debugovací kontroly might_sleep(). Jakýkoliv kód, který provádí might_sleep(), je vlastně v tu chvíli připraven spát. Patch tyto debugovací kontroly aktivuje a udělá z nich rozvrhovací body. To výrazně snižuje komplexnost a dopad.

I při použití těchto might_sleep() bodů (přes sto) však jádře zůstávalo dost zdrojů latence. Ty jsme nalezli a ručně opravili. Buď pomocí dalších kontrol might_sleep(), nebo pomocí explicitních přerozvrhovacích bodů. Občas bylo zapotřebí i zámku-brzdy.

Praktickým cílem tohoto patche je opravení všech zdrojů latence, které způsobují latence vyšší než ~1 msec. Rádi bychom se dozvěděli o pracovních zatíženích, která i nadále způsobují přeskakovaní zvuku i s aplikovaným patchem. Mně se takovou zátěž vytvořit nepodařilo (když nepočítám inicializační rutiny ovladačů).

Patch je také možné více konfigurovat než lowlatency patche pro 2.4: přidali jsme položku do .config, díky které lze volitelnou preempci povolit, za běhu lze použít nastavovadla v /proc/sys a při bootu parametry, kterými může být volitelná preemce (CONFIG_VOLUNTARY_PREEMPT) a jaderná preempce (CONFIG_PREEMPT) zapnuta i vypnuta.

     # zapnutí/vypnutí volitelné preempce (při
CONFIG_VOLUNTARY_PREEMPT)
     echo 1 > /proc/sys/kernel/voluntary_preemption
     echo 0 > /proc/sys/kernel/voluntary_preemption

     # zapnutí/vypnutí jaderné preempce (při CONFIG_PREEMPT)
     /proc/sys/kernel/kernel_preemption
     /proc/sys/kernel/kernel_preemption

Přepínače 'voluntary-preemption=0/1' a 'kernel-preemption=0/1' můžete použít při bootu.

Všechny čtyři kombinace dávají smysl, jsou-li CONFIG_PREEMPT i CONFIG_VOLUNTARY_PREEMPT povoleny - ideální pro testování a porovnávání výkonu/latence.

Základní 2.6 jádro vypadá takto:

voluntary_preemption:0 kernel_preemption:0

2.6 kernel s povolenou volitelnou preempcí jádra odpovídá:

voluntary_preemption:1 kernel_preemption:0

2.6 kernel s jadernou preempcí je:

voluntary_preemption:0 kernel_preemption:1

a preemptivní kernel vylepšený o dodatečné zámky-brzdy se spustí takto:

voluntary_preemption:1 kernel_preemption:1

Všechny parametry mohou být kdykoliv bezpečně měněny.

Patch je proti 2.6.7-bk20 a obsahuje i opravy chyb v jádře, které byly odhaleny během vývoje patche. U mě sice funguje, ale stejně se při jeho používání mějte na pozoru!

Následovala rozsáhlá diskuze. Zprvu někteří vývojáři patch podporovali a k tomu se přidala spousta komentářů a kritiky od jiných lidí. Ale Andrew Morton neměl pocit, že by situace byla tak jasná. Považoval za vhodné prozkoumat konkrétní zátěže, které způsobovaly problémy. Napsal:

2.6+preempt určitě není teď tak dobrý jako 2.4+LL, ale 2.6 není ani tak hrozný. I při velkém zatížení filesystémů je těžké překročit zdržení 0,5 milisekundy. Existuje několik problémů v tom, jak ext3 nakládá s bufferem kontrolních bodů, ale na ty je docela těžké narazit. Mám pochybnosti o tom, jestli lidé od Jack používali při testování 'dbench 1000'.

Z toho všeho nabývám podezření, že problémy, na které narazili testeři Jacku, nebyly přímo spojené s dlouhými okamžiky nepreemptivnosti v jádře. Alespoň ne v základním kódu kernelu/fs/mm. V minulosti byly potíže s ovladači i2c, rolováním fbdev atd.

Musíme audio testery přivést k používání ALSA ovladačů, povolení CONFIG_SND_DEBUG při kompilaci jádra a nastavení /proc/asound/*/*/xrun_debug. Pak nám budou moci poslat postupy [traces] vedoucí k jejich výsledkům.

Co se patche týče, no, rozhazovat všude přerozvrhovací body není ani teď preferovaný způsob. Ale přidávání dalších kontrol might_sleep() je vychytralý způsob, jak to trochu zatraktivnit ;).

A poblíž dodal:

Opakuji, že nejsem přesvědčen o správnosti diagnózy současných problémů s audiem - podrobnější analýza může samozřejmě prokázat, že se mýlím.

Jinými slovy, ptám se, zda vůbec potřebujeme "volitelnou preempci", když "běžná preempce" funguje bezvadně.

O něco dále Ingo odpověděl v tom smyslu, že jedním z důvodů je i velikost kódu a rychlost. V distribuci Fedora zatím nechtějí zapínat běžný preemtivní kernel, protože s tím příliš mnoho věcí nefunguje a má výrazný dopad. Takže jsme hledali řešení, které by mohla využít běžná distribuce.

Omezení počtu současných hotplug procesů, 13 e-mailů

20. črc - 27. črc

Hannes Reinecke napsal:

Připojený patch omezuje počet současných hotplug procesů. Hlavním důvodem je současná situace, kdy každé zavolání call_usermodehelper způsobí execve() programu "/sbin/hotplug" bez kontroly, zda je k dispozici dostatek zdrojů pro úspěšné spuštění. To vede k tomu, že se hotplug zasekne, v nejhorších případech stroj ani nenaběhne.

Andrew Morton byl podobným chováním překvapen a zeptal se, co způsobuje tolik požadavků, že je výsledkem zatuhnutí. Christian Borntraeger odpověděl:

Nevím, jak se to podařilo Hannesovi, ale podobnou věc je docela lehké docílit skoro s každým s390/zSeries.

S pomocí Hardware Management Console nebo z/VM můžeš hotplugem připojit (deaktivovat/aktivovat/připojit/odpojit) téměř každou cestu kanálu. A protože cesta kanálu může připojit spoustu zařízení, spustí to hodně kontrol systému, což způsobí hodně hotplugů. Stejný počet kontrol systému může nastat při vadě hardwaru.

Asi před měsícem jsem si pohrával s vykostěnou verzí hotplug. Ten program byl tak malý a rychlý, že v mém případě korektně fungoval. Ale jak říkal Hannes, to by problém pouze oddálilo.

A Hannes potvrdil: Jak řekl Christian Borntraeger, nejde ani tak o explozi žádostí o modul, ale spíše nastartování mnoha událostí. Představ si natahování scsi_debug s 512 nebo více zařízeními...

Napojení klávesnic na Braillovy terminály, 5 e-mailů

23. črc

Mario Lang napsal:

Pracuji na BRLTTY[1], což je uživatelský démon, kterým se ovládají Braillovy terminály na unixových platformách. Jeden z našich ovladačů terminálů před nedávnem získal možnost přijímat (set 2) scankódy z klávesnice připojené přímo na terminál. To je moc fajn funkce, protože ten zmíněný terminál má bluetooth rozhraní a to z něj dělá kompletně bezdrátový terminál (vstup i výstup stejným připojením).

Přináší to však také problémy. Především se teď musíme zabývat rozloženími klávesnic. Kromě toho - vzhledem k tomu, že v současné době vkládáme přes TIOCSTI, myslím, že s tím mohou být problémy, jakmile se někdo přepne do konzole v X Window a přihlásí se o slovo modifikátory.

Nevíte někdo (a mohli byste mě nasměrovat), jestli má Linux nějaký mechanismus umožňující zpracování uživatelských dat z klávesnice kernelem, jakoby byla přijata z klávesnice systému? Tj. rozložení klávesnice by bylo ošetřeno stejným mapováním, jako je nastaveno pro systém.

Marcel Holtmann navrhl: Podívej se na podporu ovladačů na úrovni uživatele (uinput). A Samuel Thibault připojil:

Ohledně modifikátorů jsem poslal Daveovi patch, aby byly zpracovávány správně.

Ale překlad ASCII do scankódů i nadále závisí na překladu scankódů do ASCII prováděném kernelem, takže ta otázka je stále platná. Prohlédnu si uinput.

O několik dní později informoval Mario o postupu: Podpora uinput je teď vázaná na scr_linux.c. K napsání tohoto emailu již používám přes uinput externí klávesnici mého bluetooth Braillova terminálu . Používá se stejné rozložení jako je nakonfigurované pro počítač. Naše obecná podpora AT2 mapuje na příkazy VAL_PASSKEY a AT2 podpora pro Linux mapuje AT2 sadu scankódů na to, co používá Linux pro scankódy interně (tak trochu XT sada scankódů, ale ne úplně).

GPL zkoušena u německých soudů, 3 e-maily

23. črc - 29. črc

Adrian Bunk napsal:

Vím, že je to off-topic, ale soud u nás v Mnichově rozhodl, že výrobce routerů (Sitecom) musí respektovat dopis, ve kterém jej Harald Welte vyzval, aby ukončil prodej svého routeru (pod pokutou 100.000 Euro), který používá netfilter/iptables, ale nejsou k němu zveřejněny zdrojáky firmwaru (německá verze rozhodnutí těch tří soudců je na http://www.jbb.de/ urteil_lg_muenchen_gpl.pdf).

Je docela pěkné slyšet, že soud rozhodl o vymahatelnosti GPL v německém právním řádu.

Prakash K. Cheemplavam poznamenal: Jak jsem tomu porozuměl, tak tohle bylo pouze předběžné opatření. "Skutečný" soud bude později. Prozatím připadá soudu rozumné ten dopis podpořit před finálním rozhodnutím, protože je vysoká "pravděpodobnost", že je GPL kompatibilní s německými zákony. A i kdyby nebyla, ta firma by nesměla GPL software používat.

Matthias Andree se zeptal, jestli už je konečný verdikt a Adrian odpověděl, že ne.

---

V originálu Kernel Traffic 272 vyšla navíc ještě tato témata:

• More Sistina Software Available; Clustering Workshop Organized
• Linux 2.6.8-rc1-mm1 Released; Quick Fix For Big Slowdown Followed
• I2C Updates For 2.6
• Possible Scheduler Improvements
• Process Aggregates (PAGG) For Grouping Processes
• Kernel Events Layer For Asynchoronous Communication
• ketchup Version 0.8 Released
• Driver For IBM Multiport Serial Adapters
• IRQ Threads; Real-Time Issues
• loop-AES Update
• PPC8xx Maintainership

Tento článek vychází ze seriálu Kernel Traffic (www.kerneltraffic.org) a je zveřejněn pod licencí GPL verze 2.

       

Komentáře

[Luke]

Nejsem ani trochu právní expert, ale překlad "cease and desist letter" na "přestat a opustit dopis" není moc dobrý.
Má to myslím znamenat něco jako: "dopis, aby přestali jednat a dalšího jednání se zdrželi"

[Robert Krátký]

Vím, že to zní hrozně, ale ten termín skutečně existuje. Dokonce jej lze, jak teď koukám, nalézt i v online slovnících. Je však pravda, že místo abych se držel právnické nečeštiny, mohl jsem to převést do běžné mluvy. Chtěl jsem, aby z toho bylo patrné, že jde o právnickou záležitost, výsledkem je však super kostrbatost :(.

[Luke]

A nebo napsat (i s uvozovkama): dopis "přestat a upustit"
Btw. opustit zní hůř než upustit

[Robert Krátký]

ad opustit/upustit: to byl překlep :)

[Filip Jirsák]

Vím, že je to off-topic, ale soud u nás v Mnichově rozhodl, že přestat a opustit dopis, který Harald Welte poslal výrobci routerů (Sitecom), který ve svém routeru používá netfilter/iptables, ale nezveřejnil zdrojáky firmwaru, je platný i s pokutou až 100 000 Euro. Tahle věta svou stavbou hodně připomíná němčinu , ale česky tomu nějak vůbec nerozumím. Nechybí tam nějaká slovesa a podměty?

[Jakub Chalupnik]

Me to pripomina "Některé já budu stranou ležet nechat muset" Chtelo to dat ten dopis do uvozovek...

[K. Petera]

"V distribuci Fedora zatím nechtějí zapínat běžný preemtivní kernel, protože s tím příliš mnoho věcí nefunguje a má výrazný dopad

Jaké věci s tím nefungují a na co to má výrazný dopad? Právě jsem si to v kernelu zapnul, tak bych rád věděl, na co mám být připraven.

[Robert Krátký]

Že s tím mnoho věcí nefunguje tvrdí lidi od Fedory. V té diskuzi poukazovali hlavně na neustálé opravování chyb, které v této oblasti v jádře probíhá. Takže se možná spíš té nefunkčnosti bojí.

Dopad to má na ostatní části kódu jádra. Prostě to pozmění způsob, jak spousta věcí pracuje.

[Pavel Francírek]

Neni to, cemu se rika "predbezne opatreni"?

[Robert Krátký]

To je docela možné. Němčině bohužel nerozumím, takže jsem přeložil pouze ten něčí překlad z němčiny. "Předběžné opatření" se však anglicky řekne jinak (preliminary ruling/measure). Co se ve skutečnosti píše v té němčině?

[Martin Tůma]

Je tam "einstweilige Verfügung", čili skutečně "předběžné opatření"

[Robert Krátký]

Díky.